เกลเซอร์เกิดในเมืองรอเชสเตอร์ รัฐนิวยอร์ก เป็นบุตรคนที่ห้าในเจ็ดคนของเอบราฮัมและแฮนนาห์ เกลเซอร์ ผู้อพยพชาวลิทัวเนียเชื้อสายยิว[1][2] เขาเริ่มทำงานในธุรกิจชิ้นส่วนนาฬิกาของบิดาเมื่ออายุ 8 ปี เมื่อบิดาเสียชีวิตขณะที่เกลเซอร์มีอายุ 15 ปี เขาก็เข้าสู่โลกธุรกิจ เกลเซอร์เดินขายนาฬิกาแบบเคาะประตูบ้านเพื่อช่วยหาเลี้ยงครอบครัว